《大规模语言模型：从理论到实践》详细介绍了构建大语言模型的四个主要阶段：预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。 《大规模语言模型：从理论到实践》以大语言模型的基础理论开篇，探讨了大语言模型预训练数据的构建方法，以及大语言模型如何理解并服从人类指令，介绍了大语言模型的应用和评估方法，为读者提供了更全面的视野。 《大规模语言模型：从理论到实践》旨在为对大语言模型感兴趣的读者提供入门指南，也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。

《大规模语言模型：从理论到实践》详细介绍了构建大语言模型的四个主要阶段：预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。 《大规模语言模型：从理论到实践》以大语言模型的基础理论开篇，探讨了大语言模型预训练数据的构建方法，以及大语言模型如何理解并服从人类指令，介绍了大语言模型的应用和评估方法，为读者提供了更全面的视野。 《大规模语言模型：从理论到实践》旨在为对大语言模型感兴趣的读者提供入门指南，也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。

本书共12章，围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开：第一部分介绍大语言模型的基础理论；第二部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第三部分介绍大语言模型如何理解并服从人类指令，包括有监督微调和强化学习；第四部分介绍大语言模型增强技术，包括多模态语言模型、大模型智能体和检索增强生成；第五部分介绍大模型应用，包括大模型效率优化、模型评估和应用开发。

本书共12章，围绕大语言模型基础理论、预训练、指令理解、模型增强和模型应用五个部分展开：第一部分介绍大语言模型的基础理论；第二部分介绍大语言模型的预训练，包括大语言模型预训练数据和分布式训练；第三部分介绍大语言模型如何理解并服从人类指令，包括有监督微调和强化学习；第四部分介绍大语言模型增强技术，包括多模态语言模型、大模型智能体和检索增强生成；第五部分介绍大模型应用，包括大模型效率优化、模型评估和应用开发。

[美]莫德·勒梅尔（Maude Lemaire），是Slack的一名软件工程师，她的工作是提升产品性能，以支持一些世界上最大的组织。她的大部分时间都在进行人员管理、网络调用、重构复杂的代码块、整合冗余的数据库，以及为其他开发者构建工具。

Scrum是一个解决复杂问题的框架，也是各个遵循2001年敏捷宣言的流派中，目前流传和应用最广的一个，全球大约70%的企业转型认可并采用Scrum框架。《Scrum指南》作为Scrum的权威定义，对多个团队协作方式提到的不多。然而，以诺西的产品为例，人们打一通电话要经过一个通信网络中的数十个网元设备。而一个网元的研发工作，也需要数百人共同协作来完成。既然没有规模化转型的银弹，那就摸索着前进吧，无论如何是不能回头了。整个转型过程就是痛并快乐着。这种大型组织的转型，是一个打破旧世界，并在混乱中建立新秩序的过程。有痛点才有驱动力，作为一个当时陷入行业危机的通信企业，在生存危机面前，没有什么是不能改变的。本书主要介绍LeSS框架和规则，分为LeSS结构、LeSS产品和LeSS Sprint等三个部分。期望读者在读完本书后可以开始上手尝试，并理解背后的一些设计理念。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。

随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。开发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；接下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以开源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件开发工程师和科研人员提供翔实的参考资料。